Продолжая тему нового парсера на замену старому.

Добавил в качестве эксперимента в этот парсер поддержку нулевой связки, точнее любого подразумеваемого токена. Зачем?

( Read more... )

Раз в два-три года я пробую делать какой-то новый парсер для русского языка. Последний раз это была неудачная попытка прикрутить reinforcement learning для shift-reduce парсера, обучаемого на корпусе эталонных разборов.

В этот раз за полтора месяца сделан прототип восходящего вероятностного парсера на чистом питоне.

( Read more... )

Сделал давно запланированную чистку правил русского парсера ( Read more... )

Добрался до этой порции правил, переделал с использованием восходящего хода движка.
Заодно добавил некоторые дополнительные конструкции, накопившиеся в TODO, в частности - конструкцию неполного перечисления:

они будут петь, плясать и т.д.

( Результат разбора... )

Последний конструктивный элемент русского предложения, который до последнего времени разбирался по-старому.

Сегодня я переписал все релевантные правила на двухфазный восходяще-нисходящий алгоритм. Этот же алгоритм использован для всех остальных базовых составляющих предложения: для группы существительного (местоимения и смеси), для группы ( Read more... )

Отправная точка - DeSR (http://desr.sourceforge.net/). Поддержки русского языка "из коробки" в нем нет, в частности - отсутствует нормальный разбор поля FEATS с морфологическими признаками. Поэтому пришлось добавить заглушку для ru, а потом надо будет переделать эту часть полностью ( Read more... )

Добавил в парсер правила для обработки обособленных определений, вводных и модальных фраз, и оборотов детализации и пояснения.

1. Обособленное определение, в данном случае причастный оборот "зарубленные топорами", прикрепляется к корневому элементу сказуемого, с расчетом на то, что следующий (пока нереализованный) этап прикрепит этот фрагмент к ( Read more... )

Переделал набор правил для конструкций будущего времени, в которых участвует вспомогательных глагол БЫТЬ и инфинитив - на новый восходяще-нисходящий манер ( Read more... )

Закончился второй проход по тестовому корпусу. Есть несколько мелких ошибок, но они не принципиальны ( Read more... )

Практически закончена проверка парсинга на эталонном корпусе, поэтому можно подытожить: набор правил, выполняющих синтаксический разбор группы инфинитива (то есть инфинитив+дополнения+обстоятельства, а также модальный инфинитив + группа инфинитива) успешно переработан с учетом возможностей нового восходящего алгоритма, который до этого был ( Read more... )